StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance
StreamMemBench：面向未来辅助的个人Agent记忆流式评估基准
🧭 Agent记忆评测 · 流式未来辅助 ★ 深度解读
Fudan University · Amazon
提出首个从流式观察到任务复用全链路诊断Agent记忆行为的基准，揭示存储与利用的鸿沟
📌 工作参考价值（4 点）
- 在设计电商/推荐Agent的记忆模块时，不能仅关注存储准确率，需要构建“证据存储→初始任务使用→反馈修正→跨任务复用”的端到端评测链路，否则高存储命中率可能掩盖低效的任务应用
- 反馈的即时修正与长期固化是两回事：很多系统能在同轮中根据反馈修正回复，但无法将修正经验沉淀到记忆供后续任务调用，应在记忆更新机制中增加“经验整合”步骤（如prompt template、mem-skill等）
- 随着会话或行为流变长，Agent的证据使用能力可能持续衰减，建议在线上监控中引入分段能力漂移指标，而不仅看全局平均
- 构建记忆评测数据时，可借鉴“证据锚点”方法，从真实行为流中抽取关键事实并关联到后续需要该事实的任务，避免合成数据集中的信息泄露与表面合理性